台湾专利TW201309037A 用於畫面內預測編碼的方法及裝置以及用於畫面內預測解碼的方法及裝置

专利PDF首页>>台湾专利

专利附录

专利说明

权利要求

类似技术

同族专利

引用文献

法律状态

优先权

专利摘要:
一種用於對影像做畫面內預測之方法及裝置，其經由當前預測單元之水平方向以及垂直方向上之線性內插而產生預測值。所述方法包含：藉由使用位於當前預測單元之右上方以及左下方之至少一個鄰近像素而產生第一虛擬像素以及第二虛擬像素；使用與第一虛擬像素以及當前像素位於同一列上之鄰近左側像素經由線性內插而獲得當前像素之第一預測值；使用與第二虛擬像素以及當前像素位於同一行上之鄰近上方像素經由線性內插而獲得當前像素之第二預測值；以及藉由使用第一預測值以及第二預測值而獲得當前像素之預測值。
公开号:TW201309037A
申请号:TW101123374
申请日:2012-06-28
公开日:2013-02-16
发明作者:Tammy Lee；jian-le Chen
申请人:Samsung Electronics Co Ltd；
IPC主号:H04N19-00

专利说明:
用於視訊內預測編碼的方法及裝置以及用於視訊內預測解碼的方法及裝置
本發明是關於影像之編碼以及解碼，且更特定言之，是關於用於影像之畫面內預測編碼以及畫面內預測解碼之方法與裝置，其中藉由使用各種方向性以及新的畫面內預測模式而提高了影像之壓縮效率。
在諸如動態圖像專家群組(Moving Picture Experts Group；MPEG)-1、MPEG-2、MPEG-4或H.264/MPEG-4進階視訊編碼(Advanced Video Coding；AVC)之影像壓縮方法中，將圖像劃分為巨集區塊以便對影像做編碼。在可用於畫面間預測或畫面內預測之所有編碼模式中對巨集區塊中之每一者做編碼，且接著在根據用於對巨集區塊做編碼之位元率以及基於原始巨集區塊之經解碼之巨集區塊的失真度而選擇的編碼模式中對巨集區塊中之每一者做編碼。
隨著用於再生以及儲存高解析度或高品質視訊內容之硬體正被開發以及供應，對用於有效地對高解析度或高品質視訊內容做編碼或解碼之視訊編解碼器的需要增加。在習知視訊編解碼器中，視訊是以各自具有預定大小之巨集區塊為單位而編碼。
本發明提供用於影像之畫面內預測編碼以及畫面內預測解碼之方法與裝置，其中經由使用鄰近於當前預測單元之像素之新的畫面內預測方法根據影像特性而提高了編碼效率。
本發明亦提供使用鄰近於當前預測單元之像素之新的畫面內預測模式。
根據本發明之一態樣，提供一種對影像做畫面內預測之方法，所述方法包含：藉由使用位於當前預測單元之右上方之至少一個鄰近像素而獲得第一虛擬像素，所述第一虛擬像素與當前預測單元之當前所預測像素位於同一列上，同時對應於位於當前預測單元右側最遠處的像素；藉由使用位於當前預測單元之左下方之至少一個鄰近像素而獲得第二虛擬像素，所述第二虛擬像素與當前所預測像素位於同一行上，同時對應於位於當前預測單元下方最遠處的像素；使用與當前所預測像素位於同一列上之第一虛擬像素以及鄰近左側像素經由線性內插而獲得當前所預測像素之第一預測值；使用與當前所預測像素位於同一行上之第二虛擬像素以及鄰近上方像素經由線性內插而獲得當前所預測像素之第二預測值；以及藉由使用第一預測值以及第二預測值而獲得當前所預測像素之預測值。
根據本發明之另一態樣，提供一種用於對影像做畫面內預測之裝置，所述裝置包括畫面內預測器，所述畫面內預測器用於藉由使用位於當前預測單元之右上方之至少一個鄰近像素而獲得第一虛擬像素，所述第一虛擬像素與當前預測單元之當前所預測像素位於同一列上，同時對應於位於當前預測單元右側最遠處的像素；藉由使用位於當前預測單元之左下方之至少一個鄰近像素而獲得第二虛擬像素，所述第二虛擬像素與當前所預測像素位於同一行上，同時對應於位於當前預測單元下方最遠處的像素；使用與當前所預測像素位於同一列上之第一虛擬像素以及鄰近左側像素經由線性內插而獲得當前所預測像素之第一預測值；使用與當前所預測像素位於同一行上之第二虛擬像素以及鄰近上方像素經由線性內插而獲得當前所預測像素之第二預測值；以及藉由使用第一預測值以及第二預測值而獲得當前所預測像素之預測值。
藉由參看所附圖式詳細描述本發明之例示性實施例，本發明之以上以及其他特徵以及優點將變得更加顯而易見。
下文中，將參看附圖來更全面描述本發明，附圖中展示了本發明之例示性實施例。
圖1為根據本發明之實施例的視訊編碼裝置100的方塊圖。
視訊編碼裝置100包含最大編碼單元分割器110、編碼單元判定器120以及輸出單元130。
最大編碼(conding)單元分割器110可基於影像之當前圖像之最大編碼單元來分割當前圖像。若當前圖像大於最大編碼單元，則當前圖像之影像資料可分割為至少一個最大編碼單元。根據本發明之實施例的最大編碼單元可為大小為32×32、64×64、128×128、256×256等之資料單元，其中資料單元之形狀是寬度以及長度為2的平方之正方形。影像資料可根據至少一個最大編碼單元而輸出至編碼單元判定器120。
根據本發明之實施例的編碼單元可藉由最大大小以及深度來表徵。深度表示編碼單元自最大編碼單元在空間上分割之次數，且隨著深度加深，根據深度較深之編碼單元可自最大編碼單元分割為最小編碼單元。最大編碼單元之深度為最上層深度，且最小編碼單元之深度為最下層深度。由於對應於每一深度之編碼單元的大小隨著最大編碼單元之深度加深而減小，因此對應於較上層深度之編碼單元可包含對應於較下層深度的多個編碼單元。
如上文所述，當前圖像之影像資料根據編碼單元之最大大小而分割為最大編碼單元，且最大編碼單元中的每一者可包含根據深度而分割的較深編碼單元。由於根據本發明之實施例的最大編碼單元是根據深度來分割，因此包含於最大編碼單元中之空間域的影像資料可根據深度而階層式分類。
限制最大編碼單元之高度以及寬度階層式分割之總次數的編碼單元之最大深度以及最大大小可為預定的。
編碼單元判定器120對藉由根據深度來分割最大編碼單元之區域而獲得的至少一個分割區域做編碼，且判定深度以根據所述至少一個分割區域來輸出最終編碼之影像資料。換言之，編碼單元判定器120藉由根據當前圖像之最大編碼單元來對根據深度較深之編碼單元中之影像資料做編碼以及選擇具有最小編碼誤差的深度來判定經編碼之深度。所判定之經編碼之深度以及根據所判定之經編碼之深度的經編碼之影像資料輸出至輸出單元130。
基於對應於等於或低於最大深度之至少一個深度的較深編碼單元而對最大編碼單元中之影像資料做編碼，且基於較深編碼單元中的每一者比較對影像資料做編碼之結果。可在比較較深編碼單元之編碼誤差之後選擇具有最小編碼誤差的深度。可針對每一最大編碼單元選擇至少一個經編碼之深度。
隨著編碼單元根據深度而階層式分割，且隨著編碼單元之數目增大，最大編碼單元的大小被分割。且，即使編碼單元對應於一個最大編碼單元中之同一深度，仍藉由單獨量測每一編碼單元之影像資料的編碼誤差而判定是否將對應於同一深度之編碼單元中的每一者分割為較下層深度。因此，即使當影像資料包含於一個最大編碼單元中時，編碼誤差仍可根據所述一個最大編碼單元中之區域而不同，且因此經編碼之深度可根據影像資料中的區域而不同。因此，可在一個最大編碼單元中判定一或多個經編碼之深度，且可根據至少一個經編碼之深度的編碼單元而劃分最大編碼單元之影像資料。
因此，編碼單元判定器120可判定包含於最大編碼單元中之具有樹狀結構的編碼單元。根據本發明之實施例的「具有樹狀結構之編碼單元」包含最大編碼單元中所包含之所有較深編碼單元中的對應於判定為經編碼之深度的編碼單元。可根據最大編碼單元之同一區域中的深度而階層式判定經編碼之深度的編碼單元，且可在不同區域中獨立地進行判定。類似地，可獨立於另一區域中之經編碼之深度而判定當前區域中之經編碼之深度。
根據本發明之實施例的最大深度為與自最大編碼單元至最小編碼單元之分割次數相關的索引。根據本發明之實施例的第一最大深度可表示自最大編碼單元至最小編碼單元之總分割次數。根據本發明之實施例的第二最大深度可表示自最大編碼單元至最小編碼單元之總深度層級數。舉例而言，當最大編碼單元之深度為0時，最大編碼單元被分割一次之編碼單元的深度可設定為1，且最大編碼單元被分割兩次之編碼單元的深度可設定為2。此處，若最小編碼單元為最大編碼單元被分割四次之編碼單元，則存在深度0、1、2、3以及4的5個深度層級，且因此第一最大深度可設定為4，且第二最大深度可設定為5。
可根據最大編碼單元執行預測編碼以及變換。根據最大編碼單元，亦基於根據等於最大深度之深度或小於最大深度之深度的較深編碼單元來執行預測編碼以及變換。
由於每當根據深度來分割最大編碼單元，較深編碼單元之數目便增大，因此對隨著深度加深而產生的所有較深編碼單元執行包含預測編碼以及變換的編碼。為便於描述，在最大編碼單元中，現將基於當前深度之編碼單元來描述預測編碼以及變換。
視訊編碼裝置100可按各種方式選擇用於對影像資料做編碼之資料單元的大小或形狀。為了對影像資料做編碼，執行諸如預測編碼、變換以及熵編碼之操作，且此時，同一資料單元可用於所有操作或不同資料單元可用於每一操作。
舉例而言，視訊編碼裝置100可不僅選擇用於對影像資料做編碼之編碼單元，而且選擇不同於編碼單元之資料單元，以便對編碼單元中之影像資料執行預測編碼。
為了在最大編碼單元中執行預測編碼，可基於對應於經編碼之深度的編碼單元(亦即，基於不再分割為對應於較下層深度之編碼單元的編碼單元)來執行預測編碼。下文中，不再分割且變為用於預測編碼之基礎單元的編碼單元現將被稱為「預測單元」。藉由分割預測單元而獲得之分區可包含藉由分割預測單元之高度以及寬度中的至少一者而獲得的預測單元或資料單元。
舉例而言，當2N×2N(其中N為正整數)之編碼單元不再分割且變為2N×2N之預測單元，且分區之大小可為2N×2N、2N×N、N×2N或N×N。分區類型之實例包含藉由對稱地分割預測單元之高度或寬度而獲得的對稱分區、藉由非對稱地分割預測單元之高度或寬度(諸如，1：n或n：1)而獲得的分區、藉由用幾何方式分割預測單元而獲得之分區，以及具有任意形狀的分區。
預測單元之預測模式可為畫面內(intra)模式、畫面(inter)間模式以及跳過(skip)模式中之至少一者。舉例而言，可對2N×2N、2N×N、N×2N或N×N之分區執行畫面內模式或畫面間模式。且，可僅對2N×2N之分區執行跳過模式。在編碼單元中對一個預測單元獨立地執行編碼，藉此選擇具有最小編碼誤差的預測模式。
視訊編碼裝置100亦可不僅基於用於對影像資料做編碼之編碼單元而且基於不同於編碼單元之資料單元而對編碼單元中的影像資料執行變換。
為了在編碼單元中執行變換，可基於具有小於或等於編碼單元之大小的資料單元來執行變換。舉例而言，用於變換之資料單元可包含用於畫面內模式之資料單元以及用於畫面間模式之資料單元。
用作變換之基礎之資料單元現將稱為「變換單元」。類似於編碼單元，編碼單元中之變換單元可按遞回方式分割為較小大小的區域，以使得可單獨以區域為單位來判定變換單元。因此，可根據具有根據變換深度之樹狀結構的變換單元而劃分編碼單元中之殘餘資料。
亦可在變換單元中設定指示藉由分割編碼單元之高度以及寬度而達到變換單元之分割次數的變換深度。舉例而言，在2N×2N之當前編碼單元中，當變換單元之大小亦為2N×2N時，變換深度可為0，當變換單元之大小為N×N時，變換深度可為1，且當變換單元之大小為N/2×N/2時，變換深度可為2。換言之，可根據變換深度而設定具有樹狀結構之變換單元。
根據對應於經編碼之深度之編碼單元的編碼資訊不僅需要關於經編碼之深度的資訊，而且需要與預測編碼以及變換相關的資訊。因此，編碼單元判定器120不僅判定具有最小編碼誤差之經編碼之深度，而且判定預測單元中之分區類型、根據預測單元之預測模式，以及用於變換之變換單元的大小。
稍後將參看圖3至圖12詳細描述根據本發明之實施例的最大編碼單元中之根據樹狀結構的編碼單元以及判定分區的方法。
編碼單元判定器120可藉由基於拉格朗日乘數(Lagrangian multiplier)使用率-失真最佳化(Rate-Distortion Optimization)來量測根據深度之較深編碼單元之編碼誤差。
輸出單元130按照位元串流的形式輸出基於由編碼單元判定器120判定之至少一個經編碼之深度而編碼的最大編碼單元之影像資料，以及根據經編碼之深度關於編碼模式的資訊。
可藉由對影像之殘餘資料做編碼來獲得經編碼之影像資料。
根據經編碼之深度關於編碼模式的資訊可包含關於經編碼之深度、關於預測單元中之分區類型、預測模式以及變換單元之大小的資訊。
可藉由使用根據深度之分割資訊來定義關於經編碼之深度的資訊，根據深度之分割資訊指示是否對較下層深度而非當前深度之編碼單元執行編碼。若當前編碼單元之當前深度為經編碼之深度，則對當前編碼單元中之影像資料做編碼且輸出，且因此，分割資訊可定義為不將當前編碼單元分割為較下層深度。或者，若當前編碼單元之當前深度並非經編碼之深度，則對較下層深度之編碼單元執行編碼，且因此分割資訊可定義為分割當前編碼單元以獲得較下層深度的編碼單元。
若當前深度並非經編碼之深度，則對分割為較下層深度之編碼單元的編碼單元執行編碼。由於較下層深度之至少一個編碼單元存在於當前深度之一個編碼單元中，因此對較下層深度之每一編碼單元重複地執行編碼，且因此可對具有同一深度之編碼單元按遞回方式執行編碼。
由於針對一個最大編碼單元而判定具有樹狀結構之編碼單元，且針對經編碼之深度之編碼單元而判定關於至少一個編碼模式的資訊，因此可針對一個最大編碼單元而判定關於至少一個編碼模式的資訊。且，最大編碼單元之影像資料的經編碼之深度可根據位置而不同，此是因為根據深度而階層式分割影像資料，且因此可針對影像資料而設定關於經編碼之深度以及編碼模式的資訊。
因此，輸出單元130可將關於相應經編碼之深度以及編碼模式之編碼資訊指派給包含於最大編碼單元中之編碼單元、預測單元以及最小單元中的至少一者。
根據本發明之實施例的最小單元為藉由將構成最下層深度之最小編碼單元分割為4份而獲得的正方形資料單元。或者，最小單元可為可包含於最大編碼單元中所包含之所有編碼單元、預測單元、分區單元以及變換單元中的最大正方形資料單元。
舉例而言，經由輸出單元130而輸出之編碼資訊可分類為根據編碼單元之編碼資訊，以及根據預測單元的編碼資訊。根據編碼單元之編碼資訊可包含關於預測模式以及關於分區之大小的資訊。根據預測單元之編碼資訊可包含關於畫面間模式之估計方向、關於畫面間模式之參考影像索引、關於運動向量、關於畫面內模式之色度分量以及關於畫面內模式之內插方法的資訊。且，關於根據圖像、片段或GOP而定義之編碼單元之最大大小的資訊，以及關於最大深度之資訊可插入至位元串流的標頭中。
在視訊編碼裝置100中，較深編碼單元可為藉由將較上層深度之編碼單元(其為上一層)的高度或寬度劃分為2份而獲得的編碼單元。換言之，在當前深度之編碼單元的大小為2N×2N時，較下層深度之編碼單元的大小為N×N。且，大小為2N×2N之當前深度的編碼單元可包含較下層深度的最大4個編碼單元。
因此，視訊編碼裝置100可藉由基於考慮當前圖像之特性而判定的最大編碼單元之大小以及最大深度，藉由針對每一最大編碼單元判定具有最佳形狀以及最佳大小的編碼單元而形成具有樹狀結構之編碼單元。且，由於藉由使用各種預測模式以及變換中之任一者對每一最大編碼單元執行編碼，因此可考慮各種影像大小之編碼單元的特性來判定最佳編碼模式。
因此，若在習知巨集區塊中對具有高解析度或大資料量之影像做編碼，則每圖像之巨集區塊的數目過度地增大。因此，針對每一巨集區塊產生之壓縮資訊之段數增大，且因此難以傳輸壓縮資訊，且資料壓縮效率降低。然而，藉由使用視訊編碼裝置100，因為在考慮影像之大小的而增大編碼單元的最大大小的同時考慮影像之特性而調整編碼單元，所以影像壓縮效率可提高。
圖2為根據本發明之實施例的視訊解碼裝置200的方塊圖。
視訊解碼裝置200包含接收器210、影像資料以及編碼資訊提取器220以及影像資料解碼器230。用於視訊解碼裝置200之各種操作的各種術語(諸如，編碼單元、深度、預測單元、變換單元以及關於各種編碼模式之資訊)的定義與參看圖1且參考視訊編碼裝置100所述的術語相同。
接收器210接收且剖析經編碼之視訊之位元串流。影像資料以及編碼資訊提取器220自所剖析之位元串流提取每一編碼單元之經編碼之影像資料，其中編碼單元具有根據每一最大編碼單元之樹狀結構，且將所提取之影像資料輸出至影像資料解碼器230。影像資料以及編碼資訊提取器220可自關於當前圖像之標頭提取關於當前圖像之編碼單元之最大大小的資訊。
且，影像資料以及編碼資訊提取器220自所剖析之位元串流針對具有根據每一最大編碼單元之樹狀結構之編碼單元提取關於經編碼之深度以及編碼模式的資訊。關於經編碼之深度以及編碼模式之所提取之資訊被輸出至影像資料解碼器230。換言之，位元串流中之影像資料分割為最大編碼單元，使得影像資料解碼器230對每一最大編碼單元之影像資料做解碼。
可針對關於對應於經編碼之深度之至少一個編碼單元的資訊而設定根據最大編碼單元關於經編碼之深度以及編碼模式的資訊，且關於編碼模式之資訊可包含關於對應於經編碼之深度之相應編碼單元的分區類型、關於預測模式以及變換單元之大小的資訊。且，可將根據深度之分割資訊作為關於經編碼之深度的資訊來提取。
由影像資料以及編碼資訊提取器220提取的根據每一最大編碼單元關於經編碼之深度以及編碼模式的資訊為，關於經判定以在諸如視訊編碼裝置100之編碼器根據每一最大編碼單元對根據深度之每一較深編碼單元重複地執行編碼時，產生最小編碼誤差的經編碼之深度以及編碼模式的資訊。因此，視訊解碼裝置200可藉由根據產生最小編碼誤差之經編碼之深度以及編碼模式來對影像資料做解碼而復原影像。
由於關於經編碼之深度以及編碼模式之編碼資訊可指派給相應編碼單元、預測單元以及最小單元中的預定資料單元，因此影像資料以及編碼資訊提取器220可提取根據預定資料單元關於經編碼之深度以及編碼模式的資訊。若根據預定資料單元而記錄關於相應最大編碼單元之經編碼之深度以及編碼模式的資訊，則被指派關於經編碼之深度以及編碼模式之相同資訊的預定資料單元可推斷為包含於同一最大編碼單元中的資料單元。
影像資料解碼器230可藉由基於根據最大編碼單元關於經編碼之深度以及編碼模式的資訊對每一最大編碼單元中之影像資料做解碼來復原當前圖像。換言之，影像資料解碼器230可基於關於每一最大編碼單元中所包含之具有樹狀結構的編碼單元中的每一編碼單元之分區類型、預測模式以及變換單元的所提取之資訊而對經編碼之影像資料做解碼。解碼程序可包含：包含畫面內預測以及運動補償之預測；以及逆變換。
影像資料解碼器230可基於根據經編碼之深度關於每一編碼單元之預測單元之分區類型以及預測模式的資訊根據所述編碼單元之分區以及預測模式來執行畫面內預測或運動補償。
且，影像資料解碼器230可基於根據經編碼之深度關於編碼單元之變換單元之大小的資訊根據編碼單元中之每一變換單元來執行逆變換，以便根據最大編碼單元來執行逆變換。
影像資料解碼器230可藉由使用根據深度之分割資訊而判定當前最大編碼單元之至少一個經編碼之深度。若分割資訊指示影像資料在當前深度中不再分割，則當前深度為經編碼之深度。因此，影像資料解碼器230可藉由使用關於對應於經編碼之深度之每一編碼單元的預測單元之分區類型、預測模式以及變換單元之大小的資訊來對對應於當前最大編碼單元中之每一經編碼之深度的至少一個編碼單元之經編碼之資料做解碼。
換言之，可藉由觀測針對編碼單元、預測單元以及最小單元中之預定資料單元而指派的編碼資訊集合來收集含有包含相同分割資訊之編碼資訊的資料單元，且可將所收集之資料單元視為待由影像資料解碼器230在同一編碼模式中解碼的一個資料單元。
視訊解碼裝置200可獲得關於在對每一最大編碼單元按遞回方式執行編碼時產生最小編碼誤差之至少一個編碼單元的資訊，且可使用所述資訊來對當前圖像做解碼。換言之，可對判定為每一最大編碼單元中之最佳編碼單元的具有樹狀結構之編碼單元做解碼。
因此，即使影像資料具有高解析度以及大量資料，仍可藉由使用自編碼器接收之關於最佳編碼模式的資訊藉由使用根據影像資料之特性而適應性地判定之編碼單元之大小以及編碼模式來有效地對影像資料做解碼以及復原。
現將參看圖3至圖13來描述根據本發明之實施例的判定具有樹狀結構之編碼單元、預測單元以及變換單元之方法。
圖3為用於描述根據本發明之實施例的編碼單元之概念的圖式。
編碼單元之大小可用寬度×高度來表達，且可包含64×64、32×32、16×16以及8×8。64×64之編碼單元可分割為64×64、64×32、32×64或32×32之分區，且32×32之編碼單元可分割為32×32、32×16、16×32或16×16的分區，16×16之編碼單元可分割為16×16、16×8、8×16或8×8之分區，且8×8之編碼單元可分割為8×8、8×4、4×8或4×4的分區。
在視訊資料310中，解析度為1920×1080，編碼單元之最大大小為64，且最大深度為2。在視訊資料320中，解析度為1920×1080，編碼單元之最大大小為64，且最大深度為3。在視訊資料330中，解析度為352×288，編碼單元之最大大小為16，且最大深度為1。圖3所示之最大深度表示自最大編碼單元至最小解碼單元之總分割次數。
若解析度高或資料量大，則編碼單元之最大大小可為大的，以便不僅提高編碼效率而且準確地反映影像之特性。因此，具有高於視訊資料330之解析度的視訊資料310以及320之編碼單元的最大大小可為64。
由於視訊資料310之最大深度為2，因此視訊資料310之編碼單元315可包含長軸大小為64的最大編碼單元，以及長軸大小為32以及16的編碼單元，此是因為深度藉由分割最大編碼單元兩次而加深為兩層。同時，由於視訊資料330之最大深度為1，因此視訊資料330之編碼單元335可包含長軸大小為16的最大編碼單元，以及長軸大小為8之編碼單元，此是因為深度藉由分割最大編碼單元一次而加深為一層。
由於視訊資料320之最大深度為3，因此視訊資料320之編碼單元325可包含長軸大小為64的最大編碼單元，以及長軸大小為32、16以及8的編碼單元，此是因為深度藉由分割最大編碼單元三次而加深為三層。隨著深度加深，可精確地表達詳細資訊。
圖4為根據本發明之實施例的基於編碼單元之影像編碼器400的方塊圖。
影像編碼器400執行視訊編碼裝置100之編碼單元判定器120的操作以對影像資料做編碼。換言之，畫面內預測器410對當前畫面405中的處於畫面內模式中之編碼單元執行畫面內預測，且運動估計器420以及運動補償器425藉由使用當前畫面405以及參考畫面495而對當前畫面405中的處於畫面間模式中的編碼單元執行畫面間估計以及運動補償。
自畫面內預測器410、運動估計器420以及運動補償器425輸出之資料經由變換器430以及量化器440作為經量化之變換係數而輸出。經量化之變換係數經由逆量化器460以及逆變換器470復原為空間域中之資料，且空間域中之所復原之資料在經由解區塊單元480以及迴路濾波單元490後處理之後作為參考畫面495輸出。經量化之變換係數可經由熵編碼器450作為位元串流455輸出。
為了使影像編碼器400應用於視訊編碼裝置100中，影像編碼器400之所有元件(亦即，畫面內預測器410、運動估計器420、運動補償器425、變換器430、量化器440、熵編碼器450、逆量化器460、逆變換器470、解區塊單元480以及迴路濾波單元490)在考慮每一最大編碼單元之最大深度的同時基於具有樹狀結構之編碼單元中的每一編碼單元來執行操作。
具體言之，畫面內預測器410、運動估計器420以及運動補償器425在考慮當前最大編碼單元之最大大小以及最大深度的同時判定具有樹狀結構之編碼單元中的每一編碼單元之分區以及預測模式，且變換器430判定具有樹狀結構之編碼單元中的每一編碼單元中之變換單元的大小。
圖5為根據本發明之實施例的基於編碼單元之影像解碼器500的方塊圖。
剖析器510自位元串流505剖析待解碼之經編碼之影像資料以及解碼所需之關於編碼的資訊。經編碼之影像資料經由熵解碼器520以及逆量化器530作為經逆量化之資料而輸出，且經逆量化之資料經由逆變換器540而復原為空間域中的影像資料。
畫面內預測器550關於空間域中之影像資料對處於畫面內模式中之編碼單元執行畫面內預測，且運動補償器560藉由使用參考畫面585對處於畫面間模式中的編碼單元執行運動補償。
通過畫面內預測器550以及運動補償器560之空間域中的影像資料可在經由解區塊單元570以及迴路濾波單元580後處理之後作為所復原之畫面595輸出。且，經由解區塊單元570以及迴路濾波單元580後處理之影像資料可作為參考畫面585輸出。
為了在視訊解碼裝置200之影像資料解碼器230中對影像資料做解碼，影像解碼器500可執行在剖析器510之後執行的操作。
為了使影像解碼器500應用於視訊解碼裝置200中，影像解碼器500之所有元件(亦即，剖析器510、熵解碼器520、逆量化器530、逆變換器540、畫面內預測器550、運動補償器560、解區塊單元570以及迴路濾波單元580)針對每一最大編碼單元基於具有樹狀結構之編碼單元來執行操作。
具體言之，畫面內預測550以及運動補償器560針對具有樹狀結構之編碼單元中之每一者基於分區以及預測模式而執行操作，且逆變換器540針對每一編碼單元基於變換單元之大小而執行操作。
圖6為說明根據本發明之實施例的根據深度之較深編碼單元以及分區的圖式。
視訊編碼裝置100以及視訊解碼裝置200使用階層式編碼單元以便考慮影像之特性。可根據影像之特性來適應性地判定編碼單元之最大高度、最大寬度以及最大深度，或可由使用者不同地進行設定。可根據編碼單元之預定最大大小判定根據深度之較深編碼單元的大小。
在根據本發明之實施例的編碼單元之階層式結構600中，編碼單元之最大高度以及最大寬度各為64，且最大深度為4。由於深度沿著階層式結構600之垂直軸加深，因此將較深編碼單元之高度以及寬度各自分割。且，沿著階層式結構600之水平軸展示作為用於每一較深編碼單元之預測編碼之基礎的預測單元以及分區。
換言之，編碼單元610為階層式結構600中之最大編碼單元，其中深度為0且大小(亦即，高度乘寬度)為64×64。深度沿著垂直軸而加深，且存在大小為32×32且深度為1之編碼單元620、大小為16×16且深度為2之編碼單元630、大小為8×8且深度為3之編碼單元640，以及大小為4×4且深度為4的編碼單元650。大小為4×4且深度為4之編碼單元650為最小編碼單元。
編碼單元之預測單元以及分區根據每一深度沿著水平軸而配置。換言之，若大小為64×64且深度為0之編碼單元610為預測單元，則預測單元可分割為包含於編碼單元610中的分區，亦即，大小為64×64之分區610、大小為64×32之分區612、大小為32×64之分區614或大小為32×32的分區616。
類似地，大小為32×32且深度為1之編碼單元620的預測單元可分割為包含於編碼單元620中的分區，亦即，大小為32×32之分區620、大小為32×16之分區622、大小為16×32之分區624以及大小為16×16的分區626。
類似地，大小為16×16且深度為2之編碼單元630的預測單元可分割為包含於編碼單元630中的分區，亦即，包含於編碼單元中之大小為16×16之分區630、大小為16×8之分區632、大小為8×16之分區634以及大小為8×8的分區636。
類似地，大小為8×8且深度為3之編碼單元640的預測單元可分割為包含於編碼單元640中的分區，亦即，包含於編碼單元中的大小為8×8之分區640、大小為8×4之分區642、大小為4×8之分區644以及大小為4×4的分區646。
大小為4×4且深度為4之編碼單元650為最小編碼單元以及最下層深度之編碼單元。編碼單元650之預測單元僅指派給大小為4×4之分區。
為了判定構成最大編碼單元610之編碼單元的至少一個經編碼之深度，視訊編碼裝置100之編碼單元判定器120對包含於最大編碼單元610中之對應於每一深度的編碼單元執行編碼。
隨著深度加深，包含相同範圍中之資料以及相同大小的根據深度之較深編碼單元的數目增大。舉例而言，需要對應於深度2之四個編碼單元來涵蓋包含於對應於深度1之一個編碼單元中的資料。因此，為了比較根據深度之相同資料的編碼結果，將對應於深度1之編碼單元以及對應於深度2之四個編碼單元各自編碼。
為了針對深度中之當前深度執行編碼，沿著階層式結構600之水平軸，可藉由針對對應於當前深度之編碼單元中的每一預測單元執行編碼而針對當前深度選擇最小編碼誤差。或者，可藉由比較根據深度之最小編碼誤差、藉由隨著深度沿著階層式結構600之垂直軸加深而針對每一深度執行編碼來搜尋最小編碼誤差。可選擇編碼單元610中具有最小編碼誤差之深度以及分區作為編碼單元610之經編碼之深度以及分區類型。
圖7為用於描述根據本發明之實施例的編碼單元710與變換單元720之間的關係的圖式。
視訊編碼裝置100或視訊解碼裝置200針對每一最大編碼單元根據具有小於或等於最大編碼單元之大小的編碼單元來對影像做編碼或解碼。可基於不大於相應編碼單元之資料單元而選擇在編碼期間用於變換之變換單元的大小。
舉例而言，在視訊編碼裝置100或視訊解碼裝置200中，若編碼單元710之大小為64×64，則可藉由使用大小為32×32之變換單元720來執行變換。
且，可藉由對大小為小於64×64之32×32、16×16、8×8以及4×4之變換單元中的每一者執行變換而對大小為64×64之編碼單元710的資料做編碼，且接著可選擇具有最小編碼誤差的變換單元。
圖8為用於描述根據本發明之實施例的對應於經編碼之深度之編碼單元的編碼資訊的圖式。
視訊編碼裝置100之輸出單元130可對關於分區類型之資訊800、關於預測模式之資訊810，以及關於對應於經編碼之深度之每一編碼單元的變換單元之大小的資訊820做編碼且作為關於編碼模式之資訊而傳輸。
資訊800指示關於藉由分割當前編碼單元之預測單元而獲得的分區之形狀的資訊，其中分區為用於當前編碼單元之預測編碼的資料單元。舉例而言，大小為2N×2N之當前編碼單元CU_0可分割為大小為2N×2N之分區802、大小為2N×N之分區804、大小為N×2N之分區806以及大小為N×N的分區808中之任一者。此處，關於分區類型之資訊800設定為指示大小為2N×N之分區804、大小為N×2N之分區806以及大小為N×N之分區808中的一者。
資訊810指示每一分區之預測模式。舉例而言，資訊810可指示對由資訊800指示之分區執行的預測編碼之模式，亦即，畫面內模式812、畫面間模式814或跳過模式816。
資訊820指示待基於何時對當前編碼單元執行變換之變換單元。舉例而言，變換單元可為第一畫面內變換單元822、第二畫面內變換單元824、第一畫面間變換單元826或第二畫面內變換單元828。
根據每一較深編碼單元，視訊解碼裝置200之影像資料以及編碼資訊提取器220可提取且使用資訊800、810以及820以用於解碼。
圖9為根據本發明之實施例的根據深度之較深編碼單元的圖式。
分割資訊可用以指示深度之改變。分割資訊指示當前深度之編碼單元是否分割為較下層深度之編碼單元。
用於深度為0且大小為2N_0×2N_0之編碼單元900之預測編碼的預測單元910可包含大小為2N_0×2N_0之分區類型912、大小為2N_0×N_0之分區類型914、大小為N_0×2N_0之分區類型916以及大小為N_0×N_0的分區類型918之分區。圖9僅說明藉由對稱地分割預測單元910而獲得之分區類型912至918，但分區類型不限於此，且預測單元910之分區可包含非對稱分區、具有預定形狀之分區以及具有幾何形狀的分區。
根據每一分區類型，對大小為2N_0×2N_0之一個分區、大小為2N_0×N_0之兩個分區、大小為N_0×2N_0之兩個分區以及大小為N_0×N_0的四個分區重複地執行預測編碼。可對大小為2N_0×2N_0、N_0×2N_0、2N_0×N_0以及N_0×N_0之分區執行在畫面內模式以及畫面間模式中之預測編碼。僅對大小為2N_0×2N_0之分區執行在跳過模式中之預測編碼。
若編碼誤差在分區類型912至916中之一者中最小，則預測單元910可能不分割為較下層深度。
若編碼誤差在分區類型918中最小，則深度自0改變為1以在操作920中分割分區類型918，且對深度為2且大小為N_0×N_0之編碼單元930重複地執行編碼以搜尋最小編碼誤差。
用於深度為1且大小為2N_1×2N_1(=N_0×N_0)之編碼單元930之預測編碼的預測單元940可包含大小為2N_1×2N_1之分區類型942、大小為2N_1×N_1之分區類型944、大小為N_1×2N_1之分區類型946以及大小為N_1×N_1的分區類型948之分區。
若編碼誤差在分區類型948中最小，則深度自1改變為2以在操作950中分割分區類型948，且對深度為2且大小為N_2×N_2之編碼單元960重複地執行編碼以搜尋最小編碼誤差。
當最大深度為d時，可執行根據每一深度之分割操作直至深度變為d-1時，且可對分割資訊做編碼直至深度為0至d-2中之一者時。換言之，當執行編碼直至在對應於深度d-2之編碼單元在操作970中分割之後深度為d-1時，用於深度為d-1且大小為2N_(d-1)×2N_(d-1)之編碼單元980之預測編碼的預測單元990可包含大小為2N_(d-1)×2N_(d-1)之分區類型992、大小為2N_(d-1)×N_(d-1)之分區類型994、大小為N_(d-1)×2N_(d-1)之分區類型996以及大小為N_(d-1)×N_(d-1)的分區類型998之分區。
可對分區類型992至998中的大小為2N_(d-1)×2N_(d-1)之一個分區、大小為2N_(d-1)×N_(d-1)之兩個分區、大小為N_(d-1)×2N_(d-1)之兩個分區、大小為N_(d-1)×N_(d-1)的四個分區重複地執行預測編碼以搜尋具有最小編碼誤差的分區類型。
即使當分區類型998具有最小編碼誤差時，由於最大深度為d，因此深度為d-1之編碼單元CU_(d-1)不再分割為較下層深度，且將構成當前最大編碼單元900之編碼單元的經編碼之深度判定為d-1，且可將當前最大編碼單元900的分區類型判定為N_(d-1)×N_(d-1)。且，由於最大深度為d且具有最下層深度d-1之最小編碼單元980不再分割為較下層深度，因此不設定用於最小編碼單元980之分割資訊。
資料單元999可為當前最大編碼單元之「最小單元」。根據本發明之實施例的最小單元可為藉由將最小編碼單元980分割為4份而獲得的正方形資料單元。藉由重複地執行編碼，視訊編碼裝置100可藉由根據編碼單元900之深度比較編碼誤差而選擇具有最小編碼誤差的深度以判定經編碼之深度，且將相應分區類型以及預測模式設定為經編碼之深度的編碼模式。
因而，在所有深度1至d中比較根據深度之最小編碼誤差，且可將具有最小編碼誤差之深度判定為經編碼之深度。可對經編碼之深度、預測單元之分區類型以及預測模式做編碼且作為關於編碼模式之資訊而傳輸。且，由於編碼單元自深度0分割為經編碼之深度，因此僅經編碼之深度之分割資訊設定為0，且排除經編碼之深度之深度的分割資訊設定為1。
視訊解碼裝置200之影像資料以及編碼資訊提取器220可提取且使用關於編碼單元900之經編碼之深度以及預測單元的資訊以對分區912做解碼。視訊解碼裝置200可藉由使用根據深度之分割資訊而將分割資訊為0之深度判定為經編碼之深度，且使用關於相應深度之編碼模式的資訊以用於解碼。
圖10至圖12為用於描述根據本發明之實施例的編碼單元1010、預測單元1060與變換單元1070之間的關係的圖式。
編碼單元1010為在最大編碼單元中對應於由視訊編碼裝置100判定之經編碼之深度的具有樹狀結構之編碼單元。預測單元1060為編碼單元1010中之每一者之預測單元的分區，且變換單元1070為編碼單元1010中之每一者的變換單元。
當最大編碼單元之深度在編碼單元1010中為0時，編碼單元1012以及1054之深度為1，編碼單元1014、1016、1018、1028、1050以及1052之深度為2，編碼單元1020、1022、1024、1026、1030、1032以及1048之深度為3，且編碼單元1040、1042、1044以及1046的深度為4。
在預測單元1060中，藉由在編碼單元1010中分割編碼單元而獲得一些編碼單元1014、1016、1022、1032、1048、1050、1052以及1054。換言之，編碼單元1014、1022、1050以及1054中之分區類型的大小為2N×N，編碼單元1016、1048以及1052中之分區類型的大小為N×2N，且編碼單元1032之分區類型的大小為N×N。編碼單元1010之預測單元以及分區小於或等於每一編碼單元。
對小於編碼單元1052之資料單元中之變換單元1070中的編碼單元1052之影像資料執行變換或逆變換。且，變換單元1070中之編碼單元1014、1016、1022、1032、1048、1050以及1052的大小以及形狀不同於預測單元1060中的編碼單元。換言之，視訊編碼裝置100以及視訊解碼裝置200可對同一編碼單元中之資料單元個別地執行畫面內預測、運動估計、運動補償、變換以及逆變換。
因此，對在最大編碼單元之每一區域中具有階層式結構之編碼單元中的每一者以遞回方式執行編碼以判定最佳編碼單元，且因此可獲得具有遞回樹狀結構之編碼單元。編碼資訊可包含關於編碼單元之分割資訊、關於分區類型之資訊、關於預測模式之資訊，以及關於變換單元之大小的資訊。表1展示可由視訊編碼裝置100以及視訊解碼裝置200設定之編碼資訊。
視訊編碼裝置100之輸出單元130可輸出關於具有樹狀結構之編碼單元的編碼資訊，且視訊解碼裝置200之影像資料以及編碼資訊提取器220可自所接收之位元串流提取關於具有樹狀結構之編碼單元的編碼資訊。
分割資訊指示當前編碼單元是否分割為較下層深度之編碼單元。若當前深度d之分割資訊為0，則當前編碼單元不再分割為較下層深度之深度為經編碼之深度，且因此可針對經編碼之深度而定義關於分區類型、預測模式以及變換單元之大小的資訊。若根據分割資訊進一步分割當前編碼單元，則對較下層深度之四個分割編碼單元獨立地執行編碼。
預測模式可為畫面內模式、畫面間模式以及跳過模式中之一者。可在所有分區類型中定義畫面內模式以及畫面間模式，且僅在大小為2N×2N之分區類型中定義跳過模式。
關於分區類型之資訊可指示：大小為2N×2N、2N×N、N×2N以及N×N之對稱分區類型，其是藉由對稱地分割預測單元之高度或寬度而獲得；以及大小為2N×nU、2N×nD、nL×2N以及nR×2N之非對稱分區類型，其是藉由非對稱地分割預測單元之高度或寬度而獲得。可藉由以1：3以及3：1分割預測單元之高度而分別獲得大小為2N×nU以及2N×nD之非對稱分區類型，且可藉由以1：3以及3：1分割預測單元的寬度而分別獲得大小為nL×2N以及nR×2N之非對稱分區類型。
變換單元之大小可在畫面內模式中設定為兩種類型且在畫面間模式中設定為兩種類型。換言之，若變換單元之分割資訊為0，則變換單元之大小可為2N×2N，此為當前編碼單元之大小。若變換單元之分割資訊為1，則可藉由分割當前編碼單元而獲得變換單元。且，若大小為2N×2N之當前編碼單元的分區類型為對稱分區類型，則變換單元之大小可為N×N，且若當前編碼單元之分區類型為非對稱分區類型，則變換單元的大小可為N/2×N/2。
關於具有樹狀結構之編碼單元的編碼資訊可包含對應於經編碼之深度之編碼單元、預測單元以及最小單元中的至少一者。對應於經編碼之深度之編碼單元可包含含有相同編碼資訊之預測單元以及最小單元中的至少一者。
因此，藉由比較鄰近資料單元之編碼資訊而判定鄰近資料單元是否包含於對應於經編碼之深度的同一編碼單元中。且，藉由使用資料單元之編碼資訊而判定對應於經編碼之深度之相應編碼單元，且因此可判定最大編碼單元中之經編碼之深度的分佈。
因此，若基於鄰近資料單元之編碼資訊而預測當前編碼單元，則可直接參考且使用鄰近於當前編碼單元的較深編碼單元中之資料單元的編碼資訊。
或者，若基於鄰近資料單元之編碼資訊而預測當前編碼單元，則使用資料單元的經編碼之資訊而搜尋鄰近於當前編碼單元之資料單元，且可參考所搜尋之鄰近編碼單元以用於預測當前編碼單元。
圖13為用於描述根據表1之編碼模式資訊的編碼單元、預測單元或分區與變換單元之間的關係的圖式。
最大編碼單元1300包含經編碼之深度之編碼單元1302、1304、1306、1312、1314、1316以及1318。此處，由於編碼單元1318為經編碼之深度之編碼單元，因此分割資訊可設定為0。關於大小為2N×2N之編碼單元1318之分區類型的資訊可設定為大小為2N×2N之分區類型1322、大小為2N×N之分區類型1324、大小為N×2N之分區類型1326、大小為N×N之分區類型1328、大小為2N×nU之分區類型1332、大小為2N×nD之分區類型1334、大小為nL×2N之分區類型1336以及大小為nR×2N的分區類型1338中的一者。
當分區類型設定為對稱(亦即，分區類型1322、1324、1326或1328)時，若變換單元之分割資訊(TU大小旗標)為0，則設定大小為2N×2N之變換單元1342，且若TU大小旗標為1，則設定大小為N×N的變換單元1344。
當分區類型設定為非對稱(亦即，分區類型1332、1334、1336或1338)時，若TU大小旗標為0，則設定大小為2N×2N之變換單元1352，且若TU大小旗標為1，則設定大小為N/2×N/2的變換單元1354。
下文中，將詳細描述由圖4之視訊編碼裝置100之畫面內預測器410以及圖5之視訊解碼裝置200之畫面內預測器550對預測單元執行之畫面內預測。
畫面內預測器410以及550執行畫面內預測，以用於藉由使用當前預測單元之鄰近像素來獲得當前預測單元之預測值。考慮到預測單元具有等於或大於16×16之大小，畫面內預測器410以及550另外執行使用(dx,dy)具有各種方向性之畫面內預測模式以及根據先前技術具有有限方向性之畫面內預測模式。稍後將詳細描述根據本發明之實施例具有各種方向性之畫面內預測模式。
且，為了獲得當前像素之預測子，畫面內預測器410以及550可經由當前像素之水平方向上之線性內插而產生預測子P1且經由當前像素之垂直方向上之線性內插而產生預測子P2，且使用預測子P1以及P2之平均值作為當前像素之預測子。用於藉由組合經由水平方向上之線性內插以及垂直方向上之線性內插而獲得之預測子來產生當前像素之預測子的畫面內預測模式定義為平面模式，。類似地，在平面模式中，畫面內預測器410以及550藉由使用位於當前預測單元之右上方之至少一個鄰近像素而產生用於水平方向上之線性內插之虛擬像素，且藉由使用位於當前預測單元之左下方之至少一個鄰近像素而產生用於垂直方向上之線性內插之虛擬像素。稍後將詳細描述根據本發明之實施例之平面模式。
圖14為展示根據本發明之實施例的根據預測單元之大小的畫面內預測模式之數目的表格。
畫面內預測器410以及550可按各種方式根據預測單元之大小而設定待應用於預測單元之畫面內預測模式之數目。舉例而言，參看圖14，當待畫面內預測之預測單元之大小為N×N時，在實例2中，實際上對大小為2×2、4×4、8×8、16×16、32×32、64×64以及128×128之預測單元執行的畫面內預測模式之數目可分別設定為5、9、9、17、33、5以及5。實際上執行之畫面內預測模式之數目根據預測單元之大小而不同，此是因為用於對預測模式資訊做編碼之額外負擔(overhead)根據預測單元之大小而不同。換言之，即使佔據整個影像之預測單元之一部分是小的，但用於傳輸額外資訊(諸如，此小預測單元之預測模式)之額外負擔可為大的。因此，當在許多預測模式中對具有小大小之預測單元做編碼時，位元量可增加且因此壓縮效率可降低。且，因為具有大大小之預測單元(例如，大小等於或大於64×64之預測單元)大體上主要作為影像之平坦區域之預測單元來選擇，但就壓縮效率而言，在許多預測模式中，對具有大大小之預測單元(其主要經選擇以對平坦區域做編碼)做編碼可能並不夠。因此，當預測單元之大小相比預定大小過大或過小時，可應用相對小數目之畫面內預測模式。然而，根據預測單元之大小而應用之畫面內預測模式之數目不限於圖14且可能變化。如圖14所示的根據預測單元之大小而應用之畫面內預測模式之數目僅為實例且可能變化。或者，應用於預測單元之畫面內預測模式之數目可始終統一，而不管預測大小之大小。
畫面內預測器410以及550可包含藉由使用如下畫面內預測模式作為應用於預測單元之畫面內預測模式：基於預測單元中之像素具有預定角度之線來判定鄰近參考像素且使用所判定之鄰近參考像素作為像素之預測子的畫面內預測模式。可藉由使用參數(dx,dy)來設定此線之角度，其中dx以及dy各自為整數。舉例而言，當33種預測模式分別定義為模式N(其中N為0至32之整數)時，模式0設定為垂直模式，模式1設定為水平模式，模式2設定為DC模式，模式3設定為面模式(plane mode)，且模式32設定為平面模式(planar mode)。且，模式4至模式31可定義為藉由使用具有由(dx,dy)判定之方向性tan^-1(dy/dx)之線來判定鄰近參考像素且將所判定之鄰近參考像素用於畫面內預測的畫面內預測模式，(dx,dy)分別表達為：表1之(1,-1)、(1,1)、(1,2)、(2,1)、(1,-2)、(2,1)、(1,-2)、(2,-1)、(2,-11)、(5,-7)、(10,-7)、(11,3)、(4,3)、(1,11)、(1,-1)、(12,-3)、(1,-11)、(1,-7)、(3,-10)、(5,-6)、(7,-6)、(7,-4)、(11,1)、(6,1)、(8,3)、(5,3)、(5,7)、(2,7)、(5,-7)以及(4,-3)。
可由畫面內預測器410以及550使用之畫面內預測模式之數目不限於表2，且可基於當前預測單元是色度分量還是明度分量或基於當前預測單元之大小而變化。且，每一模式N可表示與上述模式不同之畫面內預測模式。舉例而言，畫面內預測模式之數目可為36，其中，模式0為稍後描述之平面模式，模式1為DC模式，模式2至34為如稍後描述之具有33種方向性之畫面內預測模式，且模式35為使用對應於色度分量中之預測單元的明度分量中之預測單元的畫面內預測模式Intra_FromLuma。模式35(亦即，使用對應於色度分量中之預測單元的明度分量中之預測單元的畫面內預測模式Intra_FromLuma)僅應用於色度分量中之預測單元且不用於對明度分量中之預測單元做畫面內預測。
圖15為用於描述根據本發明之實施例的具有各種方向性之畫面內預測模式之參考圖。
如上所述，畫面內預測器410以及550可藉由使用具有由多個(dx,dy)參數判定之角tan^-1(dy/dx)的線來判定鄰近參考像素，且藉由使用所判定之鄰近參考像素來執行畫面內預測。
參看圖15，基於待在當前預測單元中預測之當前像素P，根據表2之畫面內預測模式，位於具有根據值(dx,dy)而判定之角tan^-1(dy/dx)之延長線150上之鄰近像素A以及B可用作當前像素P之預測子。此處，用作預測子之鄰近像素可為預先編碼(pre-encoded)且預先復原(pre-restored)並位於當前預測單元之上方、左側、右上方或左下方之先前預測單元之像素。因此，藉由根據具有各種方向性之畫面內預測模式執行預測編碼，可根據影像之特性來有效地執行壓縮。
在圖15中，當藉由使用位於延長線150上或靠近延長線150之鄰近像素而產生當前像素P之預測子時，延長線150實際上具有方向性tan^-1(dy/dx)且除法運算(dy/dx)為使用延長線150來判定鄰近像素之所需，且因此硬體或軟體可包含十進制運算，藉此提高了處理量(throughput)。因此，當藉由使用(dx,dy)參數來設定用於選擇參考像素之預測方向時，可設定dx以及dy以降低處理量。
圖16為用於描述根據本發明之實施例的安置於具有方向性(dx,dy)之延長線上的當前像素與鄰近像素之間的關係的圖式。
參看圖16，P 1610表示位於(j,i)處之當前像素，且A 1611以及B 1612分別表示位於通過當前像素P 1610具有方向性(亦即，角度為tan^-1(dy/dx))之延長線上之鄰近上方像素以及鄰近左側像素。假設包含當前像素P 1610之預測單元之大小為nS×nS，其中nS為正整數，預測單元之像素之位置為(0,0)至(nS-1,nS-1)中之一者，且位於x軸上之鄰近上方像素A 1611之位置為(m,-1)，其中m為整數，且位於y軸上之鄰近左側像素B 1612之位置為(-1,n)，其中n為整數。與通過當前像素P 1610之延長線相交之鄰近上方像素A 1611之位置為(j+i*dx/dy,-1)，且鄰近左側像素B 1612之位置為(-1,i+j*dy/dx)。因此，為了判定鄰近上方像素A 1611或鄰近左側像素B 1612以預測當前像素P 1610，需要除法運算，諸如，dx/dy或dy/dx。如上所述，因為除法運算之運算複雜性高，所以軟體或硬體之運算速度可能低。因此，指示用於判定鄰近像素之預測模式之方向性的dx以及dy中之至少一者可為2的冪數。換言之，當n以及m各自為整數時，dx以及dy可分別為2^n以及2^m。
當鄰近左側像素B 1612用作當前像素P 1610之預測子且dx具有值2^n時，判定(-1,i+j*dy/dx)(亦即，鄰近左側像素B 1612之位置)所需之j*dy/dx運算可為(i*dy)/(2^n)，且使用2的冪數之除法運算可經由移位運算(諸如，(i*dy)>>n)來實現，且因此降低了處理量。
類似地，當鄰近上方像素A 1611用作當前像素P 1610之預測子且dy具有值2^m時，判定(j+i*dx/dy,-1)(亦即，鄰近上方像素A 1611之位置)所需之i*dx/dy運算可為(i*dx)/(2^m)，且使用2的冪數之除法運算可經由移位運算(諸如，(i*dx)>>m)來實現。
圖17以及圖18為展示根據本發明之實施例的畫面內預測模式之方向的圖式。
大體而言，影像或視訊信號中所示之直線圖案主要為垂直或水平的。因此，當藉由使用(dx,dy)參數來定義具有各種方向性之畫面內預測模式時，可如下定義值dx以及dy以提高影像之編碼效率。
詳言之，當dy具有固定值2^m時，dx之絕對值可經設定以使得靠近垂直方向之預測方向之間的間隔窄且預測模式之間的間隔朝向靠近水平方向之預測方向而增大。舉例而言，參看圖17，當dy為2^5(亦即，32)時，dx可設定為2、5、9、13、17、21、26、32、-2、-5、-9、-13、-17、-21、-26以及-32等，以使得靠近垂直方向之預測方向之間的間隔相對窄且預測模式之間的間隔朝向靠近水平方向之預測方向而增大。
類似地，當dx具有固定值2^n時，dy之絕對值可經設定以使得靠近水平方向之預測方向之間的間隔窄且預測模式之間的間隔朝向靠近水平方向之預測方向而增大。舉例而言，參看圖18，當dx為2^5(亦即，32)時，dy可設定為2、5、9、13、17、21、26、32、-2、-5、-9、-13、-17、-21、-26以及-32等，以使得靠近水平方向之預測方向之間的間隔相對窄且預測模式之間的間隔朝向靠近垂直方向之預測方向而增大。
且，當值dx以及dy中之一者固定時，另一值可經設定以便根據預測模式而提高。舉例而言，當值dy固定時，值dx之間的間隔可經設定以按預定值提高。此增量可根據水平方向與垂直方向之間劃分之角而設定。舉例而言，當dy固定時，dx可在相對於垂直軸之角小於15°之區段中具有增量a，在角介於15°與30°之間的區段中具有增量b，且在角高於30°之區段中具有增量c。
舉例而言，可藉由表3至5中所示之(dx,dy)參數來定義使用(dx,dy)具有方向性tan^-1(dy/dx)之預測模式。

如上所述，使用(dx,dy)參數之畫面內預測模式使用鄰近左側像素(-1,i+j*dy/dx)或鄰近上方像素(j+i*dx/dy,-1)作為位於(j,i)處之像素之預測子。當dx以及dy中之至少一者如表2所示具有2的冪數時，可僅經由乘法運算與移位運算而無需除法運算來獲得鄰近左側像素(-1,i+j*dy/dx)與鄰近上方像素(j+i*dx/dy,-1)之位置。當dx如表2所示在(dx,dy)中為2^n(亦即，32)時，可藉由向右移位運算來替換使用dx之除法運算，且因此可基於(i*dy)>>n在無需除法運算之情況下獲得鄰近左側像素之位置。類似地，當dy如表2所示在(dx,dy)中為2^m(亦即，32)時，可藉由向右移位運算來替換使用dx之除法運算，且因此可基於(i*dx)>>m在無需除法運算之情況下獲得鄰近上方像素之位置。
圖19為展示根據本發明之實施例的具有33種方向性之畫面內預測模式之方向的圖式。
畫面內預測器410以及550可根據圖19所示之具有33種方向性之畫面內預測模式而判定待用作當前像素之預測子的鄰近像素。如上所述，畫面內預測模式之方向可經設定以使得預測模式之間的間隔朝向水平或垂直方向減小且遠離垂直或水平方向增大。
圖20A以及圖20B為用於描述根據本發明之實施例的平面模式的圖式。
如上所述，畫面內預測器410以及550在平面模式中藉由使用位於當前預測單元之右上方之至少一個鄰近像素而產生用於水平方向上之線性內插的虛擬像素，且藉由使用位於當前預測單元之左下方之至少一個鄰近像素而產生用於垂直方向上之線性內插的虛擬像素。且，畫面內預測器410以及550藉由使用兩個預測子之平均值而產生當前像素之預測值，所述兩個預測子是使用虛擬像素以及鄰近像素經由水平方向以及垂直方向上之線性內插而產生。
參看圖20A，畫面內預測器410以及550藉由使用位於當前預測單元2010之右上方之至少一個鄰近像素2020而獲得第一虛擬像素2012，第一虛擬像素2012與當前預測單元2010中之當前所預測像素2011位於同一列上且對應於位於當前預測單元2010右側最遠處的像素。用以獲得第一虛擬像素2012之鄰近像素2020之數目可為預定的。舉例而言，畫面內預測器410以及550可將藉由使用T1 2021以及T2 2022之平均值或經加權平均值而產生的值判定為第一虛擬像素2012，T1 2021以及T2 2022為初始的兩個右上方鄰近像素。
且，畫面內預測器410以及550可基於當前預測單元2010之大小而判定用於獲得第一虛擬像素2012之鄰近像素2020之數目。舉例而言，在當前預測單元2010之大小為nS×nS(其中nS為整數)時，畫面內預測器410以及550可選擇用於獲得第一虛擬像素2012之鄰近像素2020中之nS/(2^m)個右上方鄰近像素，其中m為滿足2^m不大於nS之條件的整數，且藉由使用所選擇之右上方鄰近像素之平均值或經加權平均值而獲得第一虛擬像素2012。換言之，畫面內預測器410以及550可選擇鄰近像素2020中之nS/2、nS/4、nS/8個像素等。舉例而言，在當前預測單元2010之大小為32×32時，畫面內預測器410以及550可選擇32/2、32/4、32/8、32/16、32/32(亦即，1至16)個右上方鄰近像素。
類似地，參看圖20B，畫面內預測器410以及550藉由使用位於當前預測單元2010之左下方之至少一個鄰近像素2030而獲得第二虛擬像素2014，第二虛擬像素2014與當前預測單元2010中之當前所預測像素2011位於同一行上且對應於位於當前預測單元2010下方最遠處的像素。用以獲得第二虛擬像素2014之鄰近像素2030之數目可為預定的。舉例而言，可將藉由使用L1 2031以及L2 2032之平均值或經加權平均值而產生之值判定為第二虛擬像素2014，L1 2031以及L2 2032為兩個初始左下方鄰近像素。
且，畫面內預測器410以及550可基於當前預測單元2010之大小而判定用於獲得第二虛擬像素2014之鄰近像素2030之數目。如上所述，在當前預測單元2010之大小為nS×nS(其中nS為整數)時，畫面內預測器410以及550可選擇用於獲得第二虛擬像素2014之鄰近像素2030中之nS/(2^m)個左下方鄰近像素，其中m為滿足2^m不大於nS之條件的整數，且藉由使用所選擇之左下方鄰近像素之平均值或經加權平均值而獲得第二虛擬像素2014。
同時，若鄰近像素2020因包含在當前預測單元2010之後編碼之預測單元中而不可使用，則畫面內預測器410以及550可使用緊接在鄰近像素2020左側的像素T0作為第一虛擬像素2012。另一方面，若鄰近像素2030因包含在當前預測單元2010之後編碼之預測單元中而不可使用，則畫面內預測器410以及550可使用緊接在鄰近像素2030上方的像素L0作為第二虛擬像素2014。
返回參看圖20A，畫面內預測器410以及550藉由考慮當前所預測像素2011與自鄰近像素2020獲得之第一虛擬像素2012之間的距離以及當前所預測像素2011與鄰近左側像素2013(與當前所預測像素2011位於同一列上)之間的距離使用幾何平均值而執行線性內插來獲得當前所預測像素2011之第一預測值p1。
當鄰近左側像素2013之像素值為rec(-1,y)，位於(nS-1,y)處之第一虛擬像素2012之像素值為T，其中T為實數，且當前所預測像素2011之預測值為p(x,y)，其中x,y=0至nS-1，其中(x,y)表示當前預測單元2010之當前所預測像素2011之位置，且rec(x,y)表示當前預測單元2010之鄰近像素，其中(x,y=-1至2*nS-1)，可根據方程式p1(x,y)=(nS-1-x)*rec(-1,y)+(x+1)*T來獲得第一預測值p1(x,y)。此處，(ns-1-x)對應於當前所預測像素2011與第一虛擬像素2012之間的距離，且(x+1)對應於當前所預測像素2011與鄰近左側像素2013之間的距離。因此，畫面內預測器410以及550使用第一虛擬像素2012與當前所預測像素2011之間的距離、當前所預測像素2011與鄰近左側像素2013(與當前所預測像素2011位於同一列上)之間的距離、第一虛擬像素2012之像素值以及鄰近左側像素2013之像素值經由線性內插而產生第一預測值p1。
返回參看圖20B，畫面內預測器410以及550藉由考慮當前所預測像素2011與自鄰近像素2030獲得之第二虛擬像素2014之間的距離以及當前所預測像素2011與鄰近上方像素2015(與當前所預測像素2011位於同一行上)之間的距離使用幾何平均值而執行線性內插來獲得當前所預測像素2011之第二預測值p2。
當鄰近上方像素2015之像素值為rec(x,-1)，位於(x,nS-1)處之第二虛擬像素2014之像素值為L，其中L為實數，且當前所預測像素2011之預測值為p(x,y)，其中x,y=0至nS-1，其中(x,y)表示當前預測單元2010之當前所預測像素2011之位置，且rec(x,y)表示當前預測單元2010之鄰近像素，其中(x,y=-1至2*nS-1)，可根據方程式p2(x,y)=(nS-1-y)*rec(x,-1)+(y+1)*L來獲得第二預測值p2(x,y)。此處，(ns-1-y)對應於當前所預測像素2011與第二虛擬像素2014之間的距離，且(y+1)對應於當前所預測像素2011與鄰近上方像素2015之間的距離。因此，畫面內預測器410以及550使用第二虛擬像素2014與當前所預測像素2011之間的距離、當前所預測像素2011與鄰近上方像素2015(與當前所預測像素2011位於同一行上)之間的距離、第二虛擬像素2014之像素值以及鄰近上方像素2015之像素值經由線性內插而產生第二預測值p2。
因而，當經由水平方向以及垂直方向上之線性內插而獲得第一預測值p1(x,y)以及第二預測值p2(x,y)時，畫面內預測器410以及550藉由使用第一預測值p1(x,y)以及第二預測值p2(x,y)之平均值而獲得當前所預測像素2011之預測值p(x,y)。詳言之，畫面內預測器410以及550可藉由使用方程式p(x,y)={p1(x,y)+p2(x,y)+nS}>>(k+1)而獲得當前所預測像素2011之預測值p(x,y)，其中k為log₂nS。
或者，畫面內預測器410以及550可藉由使用經濾波之鄰近右上方像素以及經濾波之鄰近左下方像素而非按原樣使用鄰近右上方像素以及鄰近左下方像素來獲得第一虛擬像素以及第二虛擬像素。
圖21為展示根據本發明之實施例的圍繞當前預測單元2100而濾波之鄰近像素2110以及2120的圖式。
參看圖21，畫面內預測器410以及550藉由對位於當前畫面內預測之當前預測單元2100上方之X個鄰近像素2110以及位於當前預測單元2100左側之Y個鄰近像素2120執行濾波至少一次來產生經濾波之鄰近像素。此處，在當前預測單元2100之大小為nS×nS時，X可為2nS且Y可為2nS。
當ContextOrg[n]表示大小為nS×nS之當前預測單元2100之上方以及左側之X+Y個原始鄰近像素(其中n為0至X+Y-1之整數)時，n在鄰近左側像素中之鄰近最左側像素中為0(亦即，ContextOrg[0])且n在鄰近上方像素中之鄰近最上方像素中為X+Y-1(亦即，ContextOrg[X+Y-1])。
圖22為用於描述鄰近像素之濾波程序的參考圖。
參看圖22，當ContextOrg[n]表示位於當前預測單元之上方以及左側之原始鄰近像素(其中n為0至4nS-1之整數)時，可經由原始鄰近像素之間的經濾波之平均值來對原始鄰近像素進行濾波。當ContextFiltered1[n]表示單次濾波之鄰近像素時，可根據方程式ContextFiltered1[n]=(ContextOrg[n-1]+2*ContextOrg[n]+ContextOrg[n+1])/4來獲得藉由將3分接頭濾波器應用於原始鄰近像素ContextOrg[n]而濾波的鄰近像素。類似地，可藉由再次計算單次濾波之鄰近像素ContextFiltered1[n]之間的經加權平均值來產生兩次濾波之鄰近像素ContextFiltered2[n]。舉例而言，可根據方程式ContextFiltered2[n]=(ContextFiltered1[n-1]+2*ContextFiltered1[n]+ContextFiltered1[n+1])/4而產生藉由將3分接頭濾波器應用於經濾波之鄰近像素ContextFiltered1[n]而濾波之鄰近像素。
或者，可藉由使用各種方法中之任一者來對鄰近像素進行濾波，且接著如上所述，畫面內預測器410以及550可自至少一個鄰近經濾波右上方像素獲得第一虛擬像素，自至少一個鄰近經濾波左下方像素獲得第二虛擬像素，且接著如上所述經由線性內插而產生當前像素之預測值。可基於當前預測單元之大小來判定鄰近經濾波像素之使用。舉例而言，可僅在當前預測單元之大小等於或大於16×16時使用鄰近經濾波像素。
圖23為說明根據本發明之實施例的根據平面模式之畫面內預測方法之流程圖。
在操作2310中，畫面內預測器410以及550藉由使用位於當前預測單元之右上方之至少一個鄰近像素而獲得第一虛擬像素，所述第一虛擬像素與當前預測單元之當前所預測像素位於同一列上且對應於位於當前預測像素右側最遠處的像素。如上所述，用於獲得第一虛擬像素之鄰近像素之數目可為預定的或可基於當前預測單元之大小來判定。
在操作2320中，畫面內預測器410以及550藉由使用位於當前預測單元之左下方之至少一個鄰近像素而獲得第二虛擬像素，所述第二虛擬像素與當前所預測像素位於同一行上且對應於位於當前預測單元下方最遠處的像素。如上所述，用於獲得第二虛擬像素之鄰近像素之數目可為預定的或可基於當前預測單元之大小來判定。
在操作2330中，畫面內預測器410以及550使用與當前所預測像素位於同一列上之第一虛擬像素以及鄰近左側像素經由線性內插而獲得當前所預測像素之第一預測值。
如上所述，當當前所預測像素之位置為(x,y)，其中x以及y各自為0至nS-1，當前預測單元之鄰近像素為rec(x,y)，其中x以及y各自為-1至2*nS-1，鄰近左側像素之像素值為rec(-1,y)，位於(nS-1,y)處之第一虛擬像素之像素值為T，其中T為實數，且當前所預測像素之預測值為p(x,y)，其中x以及y各自為0至nS-1，可根據方程式p1(x,y)=(nS-1-x)*rec(-1,y)+(x+1)*T來獲得第一預測值p1(x,y)。
在操作2340中，畫面內預測器410以及550使用與當前所預測像素位於同一行上之第二虛擬像素以及鄰近上方像素經由線性內插而獲得當前所預測像素之第二預測值。當鄰近上方像素之像素值為rec(x,-1)且位於(x,nS-1)處之第二虛擬像素之像素值為L，其中L為實數，可根據方程式p2(x,y)=(nS-1-y)*rec(x,-1)+(y+1)*L來獲得第二像素值p2(x,y)。
在操作2350中，畫面內預測器410以及550藉由使用第一預測值以及第二預測值來獲得當前所預測像素之預測值。如上所述，當經由水平方向以及垂直方向上之線性內插而獲得第一預測值p1(x,y)以及第二預測值p2(x,y)時，畫面內預測器410以及550藉由使用第一預測值p1(x,y)以及第二預測值p2(x,y)之平均值而獲得當前所預測像素之預測值p(x,y)。詳言之，畫面內預測器410以及550可根據方程式p(x,y)={p1(x,y)+p2(x,y)+nS}>>(k+1)而獲得預測值p(x,y)，其中k為log₂nS。
根據本發明之一或多個實施例，可藉由經由使用鄰近像素之各種畫面內預測方法根據影像特性來應用最佳畫面內預測方法來提高影像之編碼效率。
本發明之實施例可寫為電腦程式，且可在使用電腦可讀記錄媒體執行程式的通用數位電腦中實施。電腦可讀記錄媒體之實例包含磁性儲存媒體(例如，ROM、軟碟、硬碟等)、光學記錄媒體(例如，CD-ROM或DVD)以及儲存媒體。
儘管已參考本發明之較佳實施例特定地展示且描述了本發明，但一般熟習此項技術者將理解，在不脫離如由所附申請專利範圍界定的本發明之精神以及範疇的情況下，可對本發明進行形式以及細節上的各種改變。較佳實施例應僅在描述性意義上考慮且並非用於限制目的。因此，本發明之範疇並非由本發明之詳細描述界定而是由所附申請專利範圍界定，且在此範疇內之所有差異將解釋為包含於本發明中。
100‧‧‧視訊編碼裝置
110‧‧‧最大編碼單元分割器
120‧‧‧編碼單元判定器
130‧‧‧輸出單元
150‧‧‧延長線
200‧‧‧視訊解碼裝置
210‧‧‧接收器
220‧‧‧影像資料以及編碼資訊提取器
230‧‧‧影像資料解碼器
310、320、330‧‧‧視訊資料
315、325、335、710、930、960、980、1012、1018、1020、1024、1026、1028、1030、1040、1042、1044、1046、1302、1304、1306、1312、1314、1316、1318、CU_(d-1)‧‧‧編碼單元
400‧‧‧影像編碼器
405‧‧‧當前畫面
410、550‧‧‧畫面內預測器
420‧‧‧運動估計器
425、560‧‧‧運動補償器
430‧‧‧變換器
440‧‧‧量化器
450、520‧‧‧熵編碼器
455、505‧‧‧位元串流
460、530‧‧‧逆量化器
470、540‧‧‧逆變換器
480、570‧‧‧解區塊單元
490、580‧‧‧迴路濾波單元
495、585‧‧‧參考畫面
500‧‧‧影像解碼器
510‧‧‧剖析器
595‧‧‧所復原之畫面
600‧‧‧階層式結構
610‧‧‧編碼單元/分區/最大編碼單元/編碼單元
612、614、616‧‧‧分區
620、630、640、650‧‧‧編碼單元/分區
622、624、626、632、634、636、642、644、646、802、804、806、808‧‧‧分區
720、1070、1342、1344、1352、1354‧‧‧變換單元
800、810、820‧‧‧資訊
812‧‧‧畫面內模式
814‧‧‧畫面間模式
816‧‧‧跳過模式
822‧‧‧第一畫面內變換單元
824‧‧‧第二畫面內變換單元
826‧‧‧第一畫面間變換單元
828‧‧‧第二畫面內變換單元
900‧‧‧編碼單元/當前最大編碼單元
910‧‧‧預測單元
912‧‧‧分區類型/編碼單元
914、916、918、942、944、946、948、992、994、996、998‧‧‧分區類型
920、950、970‧‧‧操作
940、990、1060‧‧‧預測單元
999‧‧‧資料單元
1010、1014、1016、1022、1032、1048、1050、1052、1054‧‧‧編碼單元/編碼單元
1300‧‧‧最大編碼單元
1322、1324、1326、1328、1332、1334、1336、1338‧‧‧分區類型
1610‧‧‧當前像素P
1611‧‧‧鄰近上方像素A
1612‧‧‧鄰近左側像素B
2010、2100‧‧‧當前預測單元
2011‧‧‧當前所預測像素
2012‧‧‧第一虛擬像素
2013‧‧‧鄰近左側像素
2014‧‧‧第二虛擬像素
2015‧‧‧鄰近上方像素
2020、2110、2120‧‧‧鄰近像素
2021‧‧‧右上方鄰近像素
2022‧‧‧右上方鄰近像素
2030‧‧‧鄰近像素
2031‧‧‧左下方鄰近像素
2032‧‧‧左下方鄰近像素
2310~2350‧‧‧操作步驟
CU_0‧‧‧當前編碼單元
圖1為根據本發明之實施例的用於對視訊做編碼之裝置之方塊圖。
圖2為根據本發明之實施例的用於對視訊做解碼之裝置之方塊圖。
圖3為用於描述根據本發明之實施例的編碼單元之概念的圖式。
圖4為根據本發明之實施例的基於編碼單元之影像編碼器的方塊圖。
圖5為根據本發明之實施例的基於編碼單元之影像解碼器的方塊圖。
圖6為說明根據本發明之實施例的根據深度之較深編碼單元以及分區的圖式。
圖7為用於描述根據本發明之實施例的編碼單元與變換單元之間的關係的圖式。
圖8為用於描述根據本發明之實施例的對應於經編碼之深度之編碼單元的編碼資訊的圖式。
圖9為根據本發明之實施例的根據深度之較深編碼單元的圖式。
圖10至圖12為用於描述根據本發明之實施例的編碼單元、預測單元與變換單元之間的關係的圖式。
圖13為用於描述根據表1之編碼模式資訊的編碼單元、預測單元或分區與變換單元之間的關係的圖式。
圖14為展示根據本發明之實施例的根據預測單元之大小的畫面內預測模式之數目的表格。
圖15為用於描述根據本發明之實施例的具有各種方向性之畫面內預測模式之參考圖。
圖16為用於描述根據本發明之實施例的安置於具有方向性(dx,dy)之延長線上的當前像素與鄰近像素之間的關係的圖式。
圖17以及圖18為展示根據本發明之實施例的畫面內預測模式之方向的圖式。
圖19為展示根據本發明之實施例的具有33種方向性之畫面內預測模式之方向的圖式。
圖20A以及圖20B為用於描述根據本發明之實施例的平面模式的圖式。
圖21為展示根據本發明之實施例的圍繞當前預測單元而濾波之鄰近像素的圖式。
圖22為用於描述鄰近像素之濾波程序的參考圖。
圖23為說明根據本發明之實施例的根據平面模式之畫面內預測方法之流程圖。
2310~2350‧‧‧操作步驟

权利要求:
Claims (15)
[1] 一種對影像做畫面內預測之方法，所述方法包括：藉由使用位於當前預測單元之右上方之至少一個鄰近像素而獲得第一虛擬像素，所述第一虛擬像素與所述當前預測單元之當前所預測像素位於同一列上，同時對應於位於所述當前預測單元右側最遠處的像素；藉由使用位於所述當前預測單元之左下方之至少一個鄰近像素而獲得第二虛擬像素，所述第二虛擬像素與所述當前所預測像素位於同一行上，同時對應於位於所述當前預測單元下方最遠處的像素；使用與所述當前所預測像素位於同一列上之所述第一虛擬像素以及鄰近左側像素經由線性內插而獲得所述當前所預測像素之第一預測值；使用與所述當前所預測像素位於同一行上之所述第二虛擬像素以及鄰近上方像素經由線性內插而獲得所述當前所預測像素之第二預測值；以及藉由使用所述第一預測值以及所述第二預測值而獲得所述當前所預測像素之預測值。
[2] 如申請專利範圍第1項所述之方法，其中藉由使用位於所述當前預測單元之右上方之兩個像素的平均值而獲得所述第一虛擬像素，且藉由使用位於所述當前預測單元之左下方之兩個像素的平均值而獲得所述第二虛擬像素。
[3] 如申請專利範圍第1項所述之方法，其中基於所述當前預測單元之大小而判定分別用於獲得所述第一虛擬像素以及所述第二虛擬像素的位於所述當前預測單元之右上方之像素的數目以及位於所述當前預測單元之左下方之像素的數目。
[4] 如申請專利範圍第3項所述之方法，其中當所述預測單元之所述大小為N×N，其中N為整數，分別用於獲得所述第一虛擬像素以及所述第二虛擬像素的位於所述當前預測單元之右上方之像素的所述數目以及位於所述當前預測單元之左下方之像素的所述數目為N/(2^m)，其中m為滿足2^m不大於N之條件的整數。
[5] 如申請專利範圍第1項所述之方法，其中藉由分別使用位於所述當前預測單元之右上方之所述至少一個鄰近像素的平均值以及位於所述當前預測單元之左下方之所述至少一個鄰近像素的平均值而獲得所述第一虛擬像素以及所述第二虛擬像素。
[6] 如申請專利範圍第1項所述之方法，其中藉由分別使用位於所述當前預測單元之右上方之所述至少一個鄰近像素的經加權平均值以及位於所述當前預測單元之左下方之所述至少一個鄰近像素的經加權平均值而獲得所述第一虛擬像素以及所述第二虛擬像素。
[7] 如申請專利範圍第1項所述之方法，其中所述第一預測值之所述獲得包括藉由考慮所述第一虛擬像素與所述當前所預測像素之間的距離以及所述當前所預測像素與鄰近左側像素之間的距離使用幾何平均值而獲得所述第一預測值，所述鄰近左側像素與所述當前所預測像素位於同一列上，且其中所述第二預測值之所述獲得包括藉由考慮所述第二虛擬像素與所述當前所預測像素之間的距離以及所述當前所預測像素與鄰近上方像素之間的距離使用幾何平均值而獲得所述第二預測值，所述鄰近上方像素與所述當前所預測像素位於同一行上。
[8] 如申請專利範圍第7項所述之方法，其中當所述當前預測單元為nS×nS，其中nS為整數，rec(x,y)表示所述當前預測單元之鄰近像素，其中x以及y各自為-1至2*nS-1，T表示所述第一虛擬像素，其中T為實數，L表示所述第二虛擬像素，其中L為實數，p(x,y)表示所述當前所預測像素之預測值，其中x以及y各自為0至nS-1，p1(x,y)表示所述第一預測值且p2(x,y)表示所述第二預測值，根據方程式p1(x,y)=(nS-1-x)*rec(-1,y)+(x+1)*T而獲得所述第一預測值，根據方程式p2(x,y)=(nS-1-y)*rec(x,-1)+(y+1)*L而獲得所述第二預測值，且藉由使用所述第一預測值與所述第二預測值之平均值而獲得所述當前所預測像素之所述預測值。
[9] 如申請專利範圍第8項所述之方法，其中根據方程式p(x,y)={p1(x,y)+p2(x,y)+nS}>>(k+1)而獲得所述當前所預測像素之所述預測值，其中k為log₂nS。
[10] 如申請專利範圍第1項所述之方法，更包括對位於所述當前預測單元之上方以及左側之鄰近像素執行濾波，其中藉由使用位於所述當前預測像素之右上方以及左下方之至少一個鄰近經濾波像素而獲得所述第一虛擬像素以及所述第二虛擬像素，且用於產生所述第一預測值以及所述第二預測值的鄰近左側像素以及鄰近上方像素為鄰近經濾波像素。
[11] 如申請專利範圍第10項所述之方法，其中使用所述鄰近像素之間的經加權平均值來執行所述濾波。
[12] 如申請專利範圍第10項所述之方法，其中在所述當前預測單元之大小等於或大於預定大小時執行所述濾波。
[13] 一種用於對影像做畫面內預測之裝置，所述裝置包括畫面內預測器，所述畫面內預測器用於藉由使用位於當前預測單元之右上方之至少一個鄰近像素而獲得第一虛擬像素，所述第一虛擬像素與所述當前預測單元之當前所預測像素位於同一列上，同時對應於位於所述當前預測單元右側最遠處的像素；藉由使用位於所述當前預測單元之左下方之至少一個鄰近像素而獲得第二虛擬像素，所述第二虛擬像素與所述當前所預測像素位於同一行上，同時對應於位於所述當前預測單元下方最遠處的像素；使用與所述當前所預測像素位於同一列上之所述第一虛擬像素以及鄰近左側像素經由線性內插而獲得所述當前所預測像素之第一預測值；使用與所述當前所預測像素位於同一行上之所述第二虛擬像素以及鄰近上方像素經由線性內插而獲得所述當前所預測像素之第二預測值；以及藉由使用所述第一預測值以及所述第二預測值而獲得所述當前所預測像素之預測值。
[14] 如申請專利範圍第13項所述之裝置，其中所述畫面內預測器藉由考慮所述第一虛擬像素與所述當前所預測像素之間的距離以及所述當前所預測像素與鄰近左側像素之間的距離使用幾何平均值而獲得所述第一預測值，所述鄰近左側像素與所述當前所預測像素位於同一列上，且藉由考慮所述第二虛擬像素與所述當前所預測像素之間的距離以及所述當前所預測像素與鄰近上方像素之間的距離使用幾何平均值而獲得所述第二預測值，所述鄰近上方像素與所述當前所預測像素位於同一行上。
[15] 如申請專利範圍第14項所述之裝置，其中當所述當前預測單元為nS×nS，其中nS為整數，rec(x,y)表示所述當前預測單元之鄰近像素，其中x以及y各自為-1至2*nS-1，T表示所述第一虛擬像素，其中T為實數，L表示所述第二虛擬像素，其中L為實數，p(x,y)表示所述當前所預測像素之預測值，其中x以及y各自為0至nS-1，p1(x,y)表示所述第一預測值且p2(x,y)表示所述第二預測值，根據方程式p1(x,y)=(nS-1-x)*rec(-1,y)+(x+1)*T而獲得所述第一預測值，根據方程式p2(x,y)=(nS-1-y)*rec(x,-1)+(y+1)*L而獲得所述第二預測值，且藉由使用所述第一預測值與所述第二預測值之平均值而獲得所述當前所預測像素之所述預測值。

类似技术:

公开号 | 公开日 | 专利标题

TWI552583B|2016-10-01|用於畫面內預測編碼的方法及裝置以及用於畫面內預測解碼的方法及裝置

TWI650995B|2019-02-11|視訊解碼裝置、視訊編碼方法及非暫態電腦可讀記錄媒體

KR101538921B1|2015-07-24|계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치

CN108282659B|2022-02-25|用于使用帧内预测进行图像编码和解码的方法和设备

KR101538920B1|2015-07-24|계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치

同族专利:

公开号 | 公开日

BR112013033710A2|2017-06-27|

JP6101736B2|2017-03-22|

CN104918055A|2015-09-16|

MX368350B|2019-09-30|

CN104954805B|2019-01-04|

EP2919468A2|2015-09-16|

US9813727B2|2017-11-07|

US10085037B2|2018-09-25|

AU2016201361A1|2016-03-24|

US20150288980A1|2015-10-08|

KR101600063B1|2016-03-14|

TW201639373A|2016-11-01|

WO2013002586A2|2013-01-03|

US20190028733A1|2019-01-24|

CA3017176C|2020-04-28|

CN103765901A|2014-04-30|

CN103765901B|2018-03-30|

CN105100808A|2015-11-25|

CN105100808B|2018-06-15|

JP5956572B2|2016-07-27|

EP2919469A3|2015-10-14|

KR20130002297A|2013-01-07|

KR20150059146A|2015-05-29|

JP2015167388A|2015-09-24|

TWI552583B|2016-10-01|

CA2840486C|2018-10-23|

PH12016500448B1|2016-06-06|

ZA201400651B|2017-08-30|

AU2017201660B2|2018-07-19|

PH12016500446A1|2016-06-06|

MX349194B|2017-07-18|

KR101654673B1|2016-09-22|

CA2840486A1|2013-01-03|

PH12016500451A1|2016-06-06|

EP2728884A4|2015-03-18|

JP2015181255A|2015-10-15|

CN105100809B|2018-08-10|

US20150264382A1|2015-09-17|

RU2687294C1|2019-05-13|

EP2919468A3|2016-02-17|

US20150264380A1|2015-09-17|

TWI685251B|2020-02-11|

US10045042B2|2018-08-07|

US20140133565A1|2014-05-15|

PH12016500450A1|2016-06-06|

US10075730B2|2018-09-11|

RU2627033C1|2017-08-03|

WO2013002586A3|2013-03-14|

AU2012276407B2|2016-02-18|

PH12016500451B1|2016-06-06|

KR101600061B1|2016-03-14|

EP2919469A2|2015-09-16|

TWI603613B|2017-10-21|

EP2919466A2|2015-09-16|

KR102040317B1|2019-11-27|

JP6101735B2|2017-03-22|

TW201907729A|2019-02-16|

KR20150059144A|2015-05-29|

US10506250B2|2019-12-10|

CN104954805A|2015-09-30|

CN104918055B|2019-07-26|

KR101564423B1|2015-10-29|

JP6101734B2|2017-03-22|

AU2012276407A1|2014-02-06|

KR20180061099A|2018-06-07|

EP2728884A2|2014-05-07|

TWI642299B|2018-11-21|

US10045043B2|2018-08-07|

MX337647B|2016-03-14|

US20150264379A1|2015-09-17|

KR101855293B1|2018-06-20|

KR20150059143A|2015-05-29|

KR20150059145A|2015-05-29|

AU2016201361B2|2016-12-22|

EP2919467A3|2015-10-14|

TW201743618A|2017-12-16|

CN108282659A|2018-07-13|

JP2015181254A|2015-10-15|

EP2919467A2|2015-09-16|

US9788006B2|2017-10-10|

PH12016500450B1|2016-06-06|

US20150264381A1|2015-09-17|

EP3247115A1|2017-11-22|

RU2660956C1|2018-07-11|

EP2919466A3|2016-02-17|

JP6101737B2|2017-03-22|

PH12016500446B1|2016-06-06|

JP2014523187A|2014-09-08|

RU2014102592A|2015-08-10|

MX2014000171A|2014-02-19|

AU2017201660A1|2017-03-30|

KR20150009500A|2015-01-26|

PH12016500448A1|2016-06-06|

RU2594291C2|2016-08-10|

KR101564422B1|2015-10-29|

MY165859A|2018-05-18|

JP2015167389A|2015-09-24|

CN105100809A|2015-11-25|

CA3017176A1|2013-01-03|

引用文献:

公开号 | 申请日 | 公开日 | 申请人 | 专利标题

KR100324608B1|1996-05-28|2002-04-17|모리시타 요이찌|화상예측부호화장치와방법,화상예측복호화장치와방법,및기록매체|

CN1134991C|1997-07-31|2004-01-14|日本胜利株式会社|数字视频信号块间内插预测编码/解码装置及高效编码方法|

US7680342B2|2004-08-16|2010-03-16|Fotonation Vision Limited|Indoor/outdoor classification in digital images|

US6418166B1|1998-11-30|2002-07-09|Microsoft Corporation|Motion estimation and block matching pattern|

US6882637B1|1999-10-14|2005-04-19|Nokia Networks Oy|Method and system for transmitting and receiving packets|

JP4163618B2|2001-08-28|2008-10-08|株式会社エヌ・ティ・ティ・ドコモ|動画像符号化伝送システム、動画像符号化伝送方法、これらに用いて好適な符号化装置、復号化装置、符号化方法、復号化方法及びプログラム|

JP2004088722A|2002-03-04|2004-03-18|Matsushita Electric Ind Co Ltd|動画像符号化方法および動画像復号化方法|

US7269730B2|2002-04-18|2007-09-11|Nokia Corporation|Method and apparatus for providing peer authentication for an internet key exchange|

US7289672B2|2002-05-28|2007-10-30|Sharp Laboratories Of America, Inc.|Methods and systems for image intra-prediction mode estimation|

CN1224270C|2003-09-30|2005-10-19|清华大学|用于宏块组结构的两阶段预测编码的帧内编码帧编码方法|

CN100534192C|2003-10-28|2009-08-26|松下电器产业株式会社|帧内预测编码方法|

CN100536573C|2004-01-16|2009-09-02|北京工业大学|基于方向的dc预测方法及用于视频编码的帧内预测方法|

CN100479527C|2004-02-26|2009-04-15|联合信源数字音视频技术（北京）有限公司|一种帧内预测模式选取方法|

CN100401789C|2004-06-11|2008-07-09|上海大学|H.264/avc帧内预测模式的快速选择方法|

CN1589028B|2004-07-29|2010-05-05|展讯通信（上海）有限公司|基于像素流水的帧内预测装置及预测方法|

KR100679035B1|2005-01-04|2007-02-06|삼성전자주식회사|인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더|

CN100348051C|2005-03-31|2007-11-07|华中科技大学|一种增强型帧内预测模式编码方法|

KR100750128B1|2005-09-06|2007-08-21|삼성전자주식회사|영상의 인트라 예측 부호화, 복호화 방법 및 장치|

JP4791129B2|2005-10-03|2011-10-12|ルネサスエレクトロニクス株式会社|画像符号化装置、画像符号化方法及び画像編集装置|

JP2007116351A|2005-10-19|2007-05-10|Ntt Docomo Inc|画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム|

KR100977101B1|2005-11-30|2010-08-23|가부시끼가이샤 도시바|화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치|

TWI315962B|2006-07-31|2009-10-11|Univ Nat Cheng Kung||

US8582663B2|2006-08-08|2013-11-12|Core Wireless Licensing S.A.R.L.|Method, device, and system for multiplexing of video streams|

RU2009119523A|2006-10-24|2010-11-27|Томсон Лайсенсинг |Управление изображениями для кодирования видео с множеством видов|

CN101217669A|2008-01-15|2008-07-09|北京中星微电子有限公司|帧内预测方法及装置|

US8282016B2|2008-10-02|2012-10-09|Silverbrook Research Pty Ltd|Position-coding pattern having tag coordinates encoded by successive subsequences of cyclic position code|

US8634456B2|2008-10-03|2014-01-21|Qualcomm Incorporated|Video coding with large macroblocks|

JP5169978B2|2009-04-24|2013-03-27|ソニー株式会社|画像処理装置および方法|

KR101456498B1|2009-08-14|2014-10-31|삼성전자주식회사|계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치|

KR101452860B1|2009-08-17|2014-10-23|삼성전자주식회사|영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치|

KR101510108B1|2009-08-17|2015-04-10|삼성전자주식회사|영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치|

KR101464538B1|2009-10-01|2014-11-25|삼성전자주식회사|영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치|

KR101457418B1|2009-10-23|2014-11-04|삼성전자주식회사|계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치|

KR101772459B1|2010-05-17|2017-08-30|엘지전자 주식회사|신규한 인트라 예측 모드|

US8837577B2|2010-07-15|2014-09-16|Sharp Laboratories Of America, Inc.|Method of parallel video coding based upon prediction type|

MX2014000171A|2011-06-28|2014-02-19|Samsung Electronics Co Ltd|Metodo y aparato para codificar y decodificar imagenes utilizando intra-prediccion.|MX2014000171A|2011-06-28|2014-02-19|Samsung Electronics Co Ltd|Metodo y aparato para codificar y decodificar imagenes utilizando intra-prediccion.|

US9497485B2|2013-04-12|2016-11-15|Intel Corporation|Coding unit size dependent simplified depth coding for 3D video coding|

US9571809B2|2013-04-12|2017-02-14|Intel Corporation|Simplified depth coding with modified intra-coding for 3D video coding|

EP2984825A4|2013-04-12|2016-09-07|Intel Corp|SIMPLIFIED DEPTH CODING WITH MODIFIED INTRA-CODING FOR 3D VIDEO CODING|

US10602155B2|2013-04-29|2020-03-24|Intellectual Discovery Co., Ltd.|Intra prediction method and apparatus|

US20160373770A1|2015-06-18|2016-12-22|Qualcomm Incorporated|Intra prediction and intra mode coding|

US10841593B2|2015-06-18|2020-11-17|Qualcomm Incorporated|Intra prediction and intra mode coding|

EP3349448B1|2015-09-10|2020-11-11|LG Electronics Inc.|Intra prediction method and device in video coding system|

US9743092B2|2015-10-13|2017-08-22|Nokia Technologies Oy|Video coding with helper data for spatial intra-prediction|

US10750167B2|2015-10-22|2020-08-18|Lg Electronics, Inc.|Intra-prediction method and apparatus in video coding system|

KR20180075517A|2015-11-24|2018-07-04|삼성전자주식회사|비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치|

US10595050B2|2015-11-24|2020-03-17|Samsung Electronics Co., Ltd.|Method and apparatus for post-processing intra or inter prediction block on basis of gradient of pixel|

KR20180075558A|2015-11-24|2018-07-04|삼성전자주식회사|비디오 복호화 방법 및 장치, 그 부호화 방법 및 장치|

WO2017188565A1|2016-04-25|2017-11-02|엘지전자 주식회사|영상 코딩 시스템에서 영상 디코딩 방법 및 장치|

CN109417633A|2016-04-29|2019-03-01|英迪股份有限公司|用于编码/解码视频信号的方法和装置|

KR20180014675A|2016-08-01|2018-02-09|한국전자통신연구원|영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체|

US20190182481A1|2016-08-03|2019-06-13|Kt Corporation|Video signal processing method and device|

CN107786874A|2016-08-24|2018-03-09|浙江大学|双向的帧内方向性预测方法和装置|

CN109716762A|2016-09-20|2019-05-03|株式会社Kt|用于处理视频信号的方法和设备|

US10721479B2|2016-09-30|2020-07-21|Lg Electronics Inc.|Intra prediction method and apparatus in image coding system|

CN109845263B|2016-10-14|2021-07-16|华为技术有限公司|用于视频编码的设备和方法|

US10681354B2|2016-12-05|2020-06-09|Lg Electronics Inc.|Image encoding/decoding method and apparatus therefor|

KR20190092382A|2016-12-27|2019-08-07|삼성전자주식회사|인트라 예측에서 참조 샘플을 필터링하는 방법 및 장치|

GB2574733B|2016-12-28|2020-05-06|Arris Entpr Llc|Improved video bitstream coding|

WO2018125972A1|2016-12-28|2018-07-05|Arris Enterprises Llc|Adaptive unequal weight planar prediction|

CN106791849B|2017-03-01|2019-08-13|四川大学|基于hevc帧内交错预测的降码率算法|

WO2018174354A1|2017-03-21|2018-09-27|엘지전자 주식회사|영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치|

WO2018174371A1|2017-03-21|2018-09-27|엘지전자 주식회사|영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치|

KR102351029B1|2017-05-16|2022-01-13|엘지전자 주식회사|인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치|

US11184639B2|2017-05-17|2021-11-23|Kt Corporation|Method and device for video signal processing|

EP3410721A1|2017-05-31|2018-12-05|Thomson Licensing|Method and apparatus for bi-directional intra prediction in video coding|

EP3410722A1|2017-05-31|2018-12-05|Thomson Licensing|Method and apparatus for low-complexity bi-directional intra prediction in video encoding and decoding|

EP3879826A1|2017-05-31|2021-09-15|LG Electronics Inc.|Method and device for performing image decoding on basis of intra prediction in image coding system|

EP3410708A1|2017-05-31|2018-12-05|Thomson Licensing|Method and apparatus for intra prediction with interpolation|

WO2019009622A1|2017-07-04|2019-01-10|엘지전자 주식회사|인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치|

WO2019126163A1|2017-12-18|2019-06-27|Arris Enterprises, Inc.|System and method for constructing a plane for planar prediction|

WO2019199149A1|2018-04-14|2019-10-17|엘지전자 주식회사|인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치|

US20210289201A1|2018-07-18|2021-09-16|Electronics And Telecommunications Research Institute|Method and device for effective video encoding/decoding via local lighting compensation|

CN111327904A|2018-12-15|2020-06-23|华为技术有限公司|图像重建方法和装置|

EP3713235A1|2019-03-19|2020-09-23|Axis AB|Methods and devices for encoding a video stream using a first and a second encoder|

WO2021061020A1|2019-09-23|2021-04-01|Huawei Technologies Co., Ltd.|Method and apparatus of weighted prediction for non-rectangular partitioning modes|

WO2020251423A2|2019-10-07|2020-12-17|Huawei Technologies Co., Ltd.|Method and apparatus of harmonizing weighted prediction and bi-prediction with coding-unit-level weight|

法律状态:

优先权:

申请号 | 申请日 | 专利标题

US201161501969P| true| 2011-06-28|2011-06-28||

[返回顶部]